基于分层式强化学习的移动机器人导航控制

针对未知环境下的移动机器人导航问题,本文提出了一种基于分层式强化学习的混合式控制方法。利用栅格-拓扑相结合的环境表示及地图学习方法,通过分层式强化学习在不同控制层次的扩展设计移动机器人的反应式和慎思式导航控制,实现了全局导航和局部导航控制的协调优化。实验及测试结果证明,该控制方法能实现导航任务的全局优化,避免陷入局部极小,并对未知动态环境具有较强的适应性。     

基于切削热-力耦合效应的表面强化技术及其工艺试验研究

经过对超高强度钢工件高速切削加工表面质量的系统研究,发现在某种特定的切削条件下,工件表面质量将会发生显著改变.该变化不仅表现为表面特征的大幅改善,如表面粗糙度可以控制在0.4μm以下,无宏观裂纹发生等,还表现为表层及次表层显微硬度的明显提高、最大残余压应力深度的大幅增加(达到0.35 mm)以及表面耐磨性能的显著增强等.研究结果表明,合理的切削工艺将极有可能成为一种能够在获得工件结构形状与精度指标的同时,对加工表面表层、次表层的组织特性与工件使用性能产生积极影响的表面强化手段.     

再入飞行器自适应最优姿态控制

针对再入飞行器姿态控制问题，应用自适应动态规划（ADP）理论设计了姿态控制器。将再入飞行器的姿态控制建模为非线性系统的最优控制问题，提出单网络积分型强化学习（SNIRL）算法进行求解，该算法简化了积分型强化学习（IRL）算法在迭代计算中的执行-评价双网络结构，只需要采用评价网络估计值函数就可以求得最优控制律，其收敛性得到了理论证明。基于SNIRL算法设计了自适应最优控制器，并证明了闭环系统的稳定性。通过数值仿真校验了SNIRL算法比IRL算法计算效率更高，收敛速度更快，并校验了自适应最优姿态控制器的有效性 。     

高性能纤维增强树脂基复合材料3D打印及其应用探索

纤维增强树脂基复合材料具有优异的力学性能,能够实现轻质、高性能结构的制造,但传统的成型工艺过程复杂、成本高,难以实现纤维回收利用,限制了纤维增强树脂基复合材料的广泛应用.3D打印技术是一种新兴的零件成形工艺,将3D打印技术应用于纤维增强树脂基复合材料的制造,为实现复合材料低成本、绿色制造提供了可能性.综述了纤维增强树脂基复合材料3D打印技术研究的发展现状,提出了一种高性能连续纤维增强热塑性复合材料3D打印工艺及其回收再制造策略.     

战斗机嵌入式训练系统中的智能虚拟陪练

智能化"实虚"对抗是现代先进战斗机嵌入式训练系统的重要功能需求。自主空战决策控制技术在未来空战装备发展中扮演关键角色。将当前的功能需求和发展中的技术结合起来,得到了空战智能虚拟陪练的概念。先进控制决策技术的引入使得智能虚拟陪练能够帮助飞行员完成复杂的战术训练,而训练中真实的对抗场景为技术的验证提供了理想的环境,大量的训练数据为技术的持续迭代优化提供了保障。作为可学习和进化的空战战术专家,智能陪练在人机对抗和自我对抗中不断优化,当其具备与人相当甚至超越人的战术能力时,可应用于未来的无人空战系统。智能虚拟陪练需要具备4项基本能力：智能决策能力、知识学习能力、对抗自优化能力和参数化表示能力。对其包含的关键技术进行了分析,提出并实现了一个基于模糊推理、神经网络和强化学习的解决方案,展示了其各项基本能力及目前达到的空战水平。未来更多的模型和算法可在智能虚拟陪练的框架中进行验证和优化。     

Coactive design of explainable agent-based task planning and deep reinforcement learning for human-UAVs teamwork

Unmanned Aerial Vehicles (UAVs) are useful in dangerous and dynamic tasks such as search-and-rescue, forest surveillance, and anti-terrorist operations. These tasks can be solved better through the collaboration of multiple UAVs under human supervision. However, it is still difficult for human to monitor, understand, predict and control the behaviors of the UAVs due to the task complexity as well as the black-box machine learning and planning algorithms being used. In this paper, the coactive design method is adopted to analyze the cognitive capabilities required for the tasks and design the interdependencies among the heterogeneous teammates of UAVs or human for coherent collaboration. Then, an agent-based task planner is proposed to automatically decompose a complex task into a sequence of explainable subtasks under constrains of resources, execution time, social rules and costs. Besides, a deep reinforcement learning approach is designed for the UAVs to learn optimal policies of a flocking behavior and a path planner that are easy for the human operator to understand and control. Finally, a mixed-initiative action selection mechanism is used to evaluate the learned policies as well as the human’s decisions. Experimental results demonstrate the effectiveness of the proposed methods.     

航天器轨道追逃博弈多阶段强化学习训练方法

针对航天器轨道追逃博弈问题,提出一种多阶段学习训练赋能方法,使得追踪星在终端时刻抵近逃逸星的特定区域,而逃逸星需要通过轨道机动规避追踪星。首先,构建两星的训练策略集,基于逻辑规则设计追踪星和逃逸星的机动策略,通过实时预测对方的终端位置,设计己方的期望位置和脉冲策略,显式给出追逃策略的解析表达式,用于训练赋能;其次,为提升航天器的训练赋能效率及应对未知环境的博弈能力,提出一种基于强化学习技术多模式、分阶段的学习训练方法,先使追踪星和逃逸星分别应对上述逻辑规则引导下的逃逸星和追踪星,完成预训练;再次,开展二次训练,两星都采用邻近策略优化(PPO)策略进行追逃博弈,在博弈中不断调整网络权值,提升决策能力;最后,在仿真环境中验证提出的训练方法的有效性,经过二次训练后,追踪星和逃逸星可有效应对不同策略驱动下的对手,提升追逃成功率。     

基于深度增强学习的卫星姿态控制方法

针对卫星在执行丢弃载荷或捕获目标等复杂任务时遭遇的姿态突然发生变化的问题,采用深度增强学习方法对卫星姿态进行控制,使卫星恢复稳定状态。具体来说,首先搭建飞行器的姿态动力学环境,并将连续的控制力矩输出离散化,然后采用Deep Q Network算法进行卫星自主姿态控制训练,以姿态角速度趋于稳定作为奖励获得离散行为的最优智能输出。仿真试验表明,面向空间卫星姿态控制的深度增强学习算法能够在卫星受到突发随机扰动后稳定卫星姿态,并能有效解决传统PD控制器依赖被控对象质量参数的难题。所提出的方法采用自主学习的方式对卫星姿态进行控制,具有很强的智能性和一定的普适性,在未来卫星执行复杂空间任务中的智能控制方面有着很好的应用潜力。     

熔融沉积成型连续碳纤维增强尼龙蜂窝芯材的压缩特性

采用熔融沉积成型方法成形了连续碳纤维增强尼龙复合材料蜂窝芯材,并对不同测试方向的静态单轴压缩特性进行了表征分析,着重关注不同测试方向熔融沉积成形蜂窝芯材平面静态压缩破碎行为和能量吸收行为,并与纯聚合物基体进行对比。结果表明:X_1方向的压缩平台区域的力-位移曲线更加平滑稳定,且载荷值稍高于X_2方向,因此X_1方向更适用于能量吸收应用;此外,连续纤维的增强作用可使蜂窝芯材的平台载荷值得到明显提升。研究结果为连续纤维增强聚合物复合材料的空间增材制造提供理论基础。     

基于DDPG算法的无人机集群追击任务

无人机的集群化应用技术是近年来的研究热点，随着无人机自主智能的不断提高，无人机集群技术必将成为未来无人机发展的主要趋势之一。针对无人机集群协同执行对敌方来袭目标的追击任务，构建了典型的任务场景，基于深度确定性策略梯度网络（DDPG）算法，设计了一种引导型回报函数有效解决了深度强化学习在长周期任务下的稀疏回报问题，通过引入基于滑动平均值的软更新策略减少了DDPG算法中Eval网络和Target网络在训练过程中的参数震荡，提高了算法的训练效率。仿真结果表明，训练完成后的无人机集群能够较好地执行对敌方来袭目标的追击任务，任务成功率达到95%。可以说无人机集群技术作为一种全新概念的作战模式在军事领域具有潜在的应用价值，人工智能算法在无人机集群的自主决策智能化发展方向上具有一定的应用前景。